Sau khi Cách mạng tháng Tám thành công, ông nhận được giấy mời ra Hà Nội của Chính phủ Cách mạng lâm thời Việt Nam Dân chủ Cộng hòa. Tại đây, ông gặp lại người bạn cũ Lê Thiết Hùng và được Chủ tịch Hồ Chí Minh giao nhiệm vụ làm Chính ủy và Khu trưởng Khu 4 để chuẩn bị cho nguy cơ chiến tranh đang đến gần. Ông giữ chức vụ Chính ủy Khu 4 từ tháng 10 năm 1945 đến tháng 11 năm 1946. Ông cũng đồng thời làm Giám đốc kiêm Chính ủy Trường Quân chính Nhượng Bạn, Cẩm Xuyên, Hà Tĩnh. Năm 1947, ông được cử giữ chức Chủ tịch Ủy ban Kháng chiến Liên khu IV, đồng thời được bầu làm Ủy viên Thường vụ Liên khu ủy.

Ngày 19 tháng 3 năm 1948, Hồ Mỹ Xuyên, con trai duy nhất của ông, trên đường công tác tại địa phận Lục Yên, tỉnh Yên Bái, đã bất ngờ lâm nạn và hy sinh khi tuổi đời vừa tròn 28. Đích thân Chủ tịch Hồ Chí Minh tự tay đánh máy chữ, gửi thư chia buồn tới gia đình ông.

Ngày 18 tháng 12 năm 1949, Chủ tịch Hồ Chí Minh ký Sắc lệnh thành lập Ban Thanh tra Chính phủ và cử ông giữ chức vụ Tổng Thanh tra. Đầu năm 1950, Hội Việt - Hoa hữu nghị được thành lập. Ông được bầu làm Hội trưởng đầu tiên của Hội. Tại Đại hội Đảng lần thứ II vào tháng 2 năm 1951, ông được bầu là Ủy viên dự khuyết Ban Chấp hành Trung ương Đảng.